研究:用诗歌就能让AI说违禁内容,成功率达62%
IT之家 12 月 1 日消息,研究用诗事实证明,违禁只需一点创意,内容南宁市某某装饰设计维修站便足以绕过人工智能聊天机器人的成功安全防护机制。在伊卡洛实验室(Icaro Lab)最新发表的率达一项题为《对抗性诗歌:一种通用的单轮大语言模型越狱机制》的研究中,研究人员通过将提示词以诗歌形式表达,研究用诗成功绕过了多种大语言模型(LLM)的违禁安全限制。
![]()
该研究指出,内容“诗歌形式可作为一种通用型越狱操作符”,成功南宁市某某装饰设计维修站实验结果显示,率达整体上有 62% 的研究用诗成功率诱使模型生成被禁止的内容,包括涉及制造核武器、违禁儿童性虐待材料以及自杀或自残等相关信息。内容
IT之家注意到,成功研究测试了多款主流大语言模型,率达包括 OpenAI 的 GPT 系列、Google Gemini、Anthropic 的 Claude 以及其他多个模型。研究人员进一步列出了各模型的具体成功率:Google Gemini、DeepSeek 和 MistralAI 在测试中始终会提供违规回答,而 OpenAI 的 GPT-5 系列模型和 Anthropic 的 Claude Haiku 4.5 则最不容易突破其自身设定的限制。
尽管该研究并未公开研究人员所使用的具体“越狱诗歌”原文,但研究团队向 Wired 杂志表示,这些诗句“过于危险,不宜向公众披露”。不过,论文中确实包含了一个经过弱化处理的示例,用以说明绕过 AI 聊天机器人安全机制的简易程度。研究人员强调:“这可能比人们想象的要容易得多,而这正是我们保持谨慎的原因所在。”
(责任编辑:知识)
-
报道称,外交紧张局势不断升级,经济形势岌岌可危,她的执政初期波澜起伏。 11月28日,民众在日本东京的首相官邸外参加抗议活动。新华社) 50岁的家庭主妇小冢梢在一场祈求商运的传统祭典中表示,“
...[详细]
-
曾经的球场对手,如今同在一队,变成队员与教练。十一年前的欧罗堡球场,一场无人问津的荷甲联赛,格罗宁根主场1比0击败兹沃勒。这场荷甲中下游的对决,本来没有任何吸引眼球的理由,但足球世界的时转势移,总有老
...[详细]
-
张安琪海亮教育·武汉海淀外国语实验学校新校区高中副校长北京大学中国语言文学学士、硕士研究生2012年以吉林省文科裸分的成绩考入北京大学中文系后于深圳中学、海亮高级中学任教。学生十余人考入北大清华。同时
...[详细]
-
行驶在长城一号旅游公路大同天镇段,道路平坦舒适,沿线造型别致的旅游路牌、色彩斑斓的公路主题,不时让人眼前一亮。地处山西、内蒙古、河北三省区交界的天镇县,过去是贫困县。经过多年发展,如今天镇县已成为“四
...[详细]
-
中央气象台11月30日06时继续发布台风蓝色预警: 今年第27号台风“天琴”热带风暴级)的中心今天30日)早晨5点钟位于海南省三沙市西沙永兴岛)偏南方向大约325公里的南海西南部海面上,就是北纬
...[详细]
-
这4类人群最易患上类风湿 早发现早治疗!2024-05-21 09:05:43 来源:羊城晚报 作者:李岩
...[详细]
-
玩手机到底要不要摘掉眼镜?2024-05-21 08:59:04 来源:扬子晚报 作者:李岩
...[详细]
-
张安琪海亮教育·武汉海淀外国语实验学校新校区高中副校长北京大学中国语言文学学士、硕士研究生2012年以吉林省文科裸分的成绩考入北京大学中文系后于深圳中学、海亮高级中学任教。学生十余人考入北大清华。同时
...[详细]
-
据香港电台网站报道,11月26日下午,香港大埔宏福苑发生火灾,已造成4人死亡,包括一名殉职的消防员;另有5人受伤,其中3人情况危殆。 另据报道,香港大埔宏福苑火警于下午6时22分升为五级。 据
...[详细]
-
5个现象告诉你,身体缺乏蛋白质|吃出健康来2024-05-18 17:52:07 来源:“健康中国”微信公众号
...[详细]

京藏协作提升西藏口腔疾病的诊治水平
中新健康丨厦门科技助残 让罕见病患不再孤单